https://www.passeidireto.com/pergunta/137769648/seja-x-uma-cadeia-de-markov-com-espaco-de-estado-0-1-2-e-matriz-de-transicao-г-1
Recomendo esse arquivo que achei no Passei Direto